ReLU 函數
正規化線形函數 (rectified linear function)。rectified linear unit。rectifier。ramp 函數$ x_+
$ x_+:=\max\{0,x\}=\begin{cases}0 & x<0 \\ x & x\ge 0\end{cases}
$ x^0_+=H(x)
$ x^1_+=x_+
Laplace 變換$ {\cal L}\lbrack x_+\rbrack=\frac 1{s^2} 似た函數
$ \varsigma_a(x):=\frac 1{1+e^{-ax}}
softmax 函數 (softmax function。正規化指數函數 (normalized exponential function)) $ \sigma({\bf z})_i:=\frac{e^{z_i}}{\sum_{j=1}^K e^{z_j}}\quad i=1,\dots,K\quad{\bf z}=(z_1,\dots,z_K)\in\R^K
$ \sigma({\bf z})_1=\varsigma_1(z)
softplus$ \log(1+e^x)
Gauß 誤差線形函數 (Gaussian error linear units)$ xP({\cal N}(0,1)\le x)
swish$ \frac x{1+e^{-\beta x}}
mish$ \tanh(\log(1+e^x))